Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents
终端智能体动作级采样与验证方法
🧭 终端 Agent 动作级验证与测试时扩展 ★ 深度解读
NVIDIA · KAIST
在动作执行前采样并验证多个候选，以 pairwise 比较和蒸馏提升终端 Agent 轨迹成功率，成本效率优于纯轨迹扩展
📌 工作参考价值（4 点）
- 对会改变环境状态的关键动作（选品、改库存、出价、下架、发消息）在执行前采样多个候选并用 pairwise verifier 筛选；pairwise 比 listwise/pointwise 更稳定，尤其生成器与验证器同模型时。
- 有更强模型但推理成本高时，离线收集 teacher 的 pairwise 偏好，用 LoRA 蒸馏出轻量 verifier，生成器不动；决策-only 只输出 A/B，可再降 20-24% token 成本，9B 模型上 Pass@1 不降反升。
- 动作级验证可与轨迹级 Best-of-N/Sequential Refine 叠加：同等环境执行次数下 Pass@1 可显著提升；测试时算力优先加动作验证，比单纯多跑完整 trajectory 更划算。
- 离线诊断 disagreement 发现失败集中在「命令语义 / 执行可行性」，建议业务中重点标注此类样本，优化 verifier。